造假技术又进一步？谷歌发布背景替换与人像真实照明渲染模型

Mixlab

前文数字人技术 介绍了从图片自动生成人脸3D模型的算法。该算法为提高真实感，运用了真实场景光感渲染技术。如果视频会议更换的背景图也能有真实光感的渲染，将给用户更佳的沉浸感……

AvatarMe 模型中不同光源、场景中的重建头像

谷歌最近发布了基于背景图光源进行人像光源重渲染的算法。只需要输入一张人像照片和目标背景图片，便能实现人像背景的自动更换，并且重建光照效果，使得人像更自然地与背景融为一体。

Total Relighting:

Learning to Relight Portraits for Background Replacement

该模型提出了一种用于肖像重新照明和背景替换的新系统，该系统在保持高精度的人像轮廓细节的基础上，准确地在更换的背景环境中合成被新光源照亮的人像外观，从而为任何目标更换场景生成逼真的合成图像。

小杜

数据集方面，研究团队在真实舞台光源计算照明系统中捕获实验对象的数据，拍摄收集了大量肖像数据来训练算法模型，该系统记录了多种照明条件、高质量的几何模拟图形和准确的图层分割。

训练数据收集

小杜

该模型的渲染流程从单张输入人像图片开始，然后使用深度学习模块估计 alpha 遮罩和前景人物图像。模型识别的前景人像重新使用目标背景图片的 HDR照明环境，从而在新的照明环境中使人像能融入背景图片。最后模型将渲染人像与环境背景合成生成输出。

光源环境重建渲染流程

Mixlab

运用该算法可实现哪些创新应用？

小杜

算法支持静态照片的背景更换、静态人像跟随旋转背景进行光源动态渲染，也支持人像运动时的动态渲染。

任何图片都可以成为背景

静态人像跟随背景进行光源动态渲染

人像运动时的动态渲染

小杜

算法还有待完善的部分，比如人的眼睛、服饰进行光源重建渲染时、效果较差。人像实时渲染时，图层分割不太精确，会有毛边出现。

渲染难点-材质复杂的服饰、眼部光源细节与动态渲染时精确的人像前景分割

项目地址：

augmentedperception.github.io/total_relighting

Mixlab

非常期待该技术完善后的应用前景～

opus

欢迎加入社群，探索 数字人 的多样玩法～

备注：数字人
[ 元宇宙创作者指南 ] [ 元宇宙资源清单 ]
github.com/shadowcz007/awesome-metaverse